Giống như nhiều quan lại khác ở kinh đô Kyoto, Iwakura chống lại kế hoạch của Mạc phủ mở cửa đất nước. Khi Hotta Masayoshi, một Hiếu Trung của Mạc phủ Tokugawa đến kinh đô Kyoto để nhận được sự chấp thuận của triều đình để ký Hiệp ước Hữu nghị và Thương mại Hoa Kỳ-Nhật Bản năm 1858, Iwakura tập hợp triều thần phản đối bản hiệp ước và cố cản trợ cuộc đàm phán giữ Tướng quân và triều đình.

Sau khi Đại lão Ii Naosuke bị ám sát năm 1860, Iwakura ủng hộ Phong trào Kobugattai, một liên minh của triều đình và Mạc phủ. Chính sách trung tâm của liên minh này là đám cưới của Tướng quân Tokugawa Iemochi và Nội Thân vương Chikako, chị gái của Thiên hoàng Hiếu Minh. Võ sĩ Samurai và quý tộc ủng hộ chính sách"Tôn hoàng, nhương di"cấp tiến hơn và nhìn nhận Iwakura như người ủng hộ Mạc phủ, gây sức ép với triều đình lưu đày ông. Kết quả là Iwakura phải rời khỏi triều đình và chuyển đến Iwakura, phía Bắc Kyoto.